Loading...
机构名称:
¥ 1.0

摘要 - Sonatype的2023年报告发现,有97%的开发人员和安全性领导了生成人工智能(AI),尤其是大语言模型(LLMS),纳入其开发过程。对这一趋势的安全含义的担忧已经提出。开发人员现在正在权衡LLM的好处和风险与其他依赖信息来源(例如Stackoverflow(SO)),需要经验数据以告知他们的选择。在这项工作中,我们的目标是在选择代码stippetsby经验比较chatgpt和stackoverflow的脆弱性时,提高软件开发人员对安全性的意识。为了实现这一目标,我们将现有的Java数据集与与安全有关的问题和答案中进行了。然后,我们问了同样的问题,所以我们收集了生成的代码以进行比较。策划数据集后,我们使用CodeQL分析了每个平台中108个摘要的共同弱点枚举(CWE)漏洞的数量和类型。ChatGpt生成的代码包含248个漏洞,产生的漏洞减少了20%,具有统计学上的显着差异。此外,Chatgpt产生了19种CWE类型,少于SO中的22种。我们的发现表明,开发人员对两个平台的不安全代码传播的教育程度不足,因为我们发现了274个独特的漏洞和25种CWE。由AI或人类创建的任何复制和粘贴的代码都不能盲目信任,需要良好的软件工程实践来降低风险。未来的工作可以帮助最大程度地减少任何平台的不安全代码传播。关键字:软件工程安全,实证研究,大语言模型,软件供应链,代码生成

arxiv:2403.15600V1 [CS.SE] 2024年3月22日

arxiv:2403.15600V1 [CS.SE] 2024年3月22日PDF文件第1页

arxiv:2403.15600V1 [CS.SE] 2024年3月22日PDF文件第2页

arxiv:2403.15600V1 [CS.SE] 2024年3月22日PDF文件第3页

arxiv:2403.15600V1 [CS.SE] 2024年3月22日PDF文件第4页

arxiv:2403.15600V1 [CS.SE] 2024年3月22日PDF文件第5页

相关文件推荐

2024 年
¥1.0